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(54)PROCEDE ET DISPOSITIF D' AMELIORATION DE LA VISION NOCTURNE, NOTAMMENT POUR VEHICULE 
AUTOMOBILE. 

(57) L'invention concerns un procede d'amelioration de la ' 
vision nocturne, notamment pour vshiculs automobile, 
consistant, au moyen d'un systems de priss ds vue sensi- 
ble aux rayonnements visiblss et non visiblss, a saisir uns 
imags de la chaussss, sclairss par des projscteurs emet- 
tant dans les domaines du rayonnsrnsnt visibls st/ou ds 
Tinvisibls, ladits imags etant constituss ds pixsls, points 
elsmsntairss ayant chacun un nivsau de gris, st a appli- 
quer a ladits imags uns LUT, loi ds transformation des ni- 
veaux de gris, caractsriss en ce qus au moins dsux lois ds 
transformation diffsrentss sont appliqusss a des groupss 
ds pixsls distincts de I'imags. 

L'invention concerns scjalemsnt un dispositif pour la 
miss en osuvrs du procsds d'arrislionation ds !a vision noc- 
tures dscrit precedemment. 

Application a I'aide a la vision nocturne pour les vehicu- 
ies automobiles. 
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La presente invention se rapporte a un procede et 
un dispositif d ' amelioration de la vision nocturne, 
notamment pour vehicule automobile. 

II a en effet ete constate que les projecteurs a 
longue portee, dits generalement feux de route, sont en 
pratique tres peu utilises car leur usage est limite aux 
routes tres peu frequentees en raisori de leur caractere 
eblouissant . 

D' autre part, les feux de croisement ayant une 
portee volontairement limitee, ils ne permettent de 
distinguer nettement que les obstacles proches du 
vehicule, ce qui laisse tres peu de temps au conducteur 
pour reagir et entreprendre une manoeuvre d'evitement. 

II a done deja ete propose, notamment dans le 
document EP-A-0 505 237, des systemes d'aide a la' vision 
nocturne comportant des projecteurs emettant des 
rayonnements de longueur d'onde non visibles (infrarouge 
ou ultraviolet) , ainsi que des cameras sensibles a ces 
rayonnements et recueillant les images de 1 * environnement 
du vehicule, ces images etant visualisees en temps reel 
dans le vehicule par le conducteur. 

II est egalement connu, notamment par le document 
EP-A-0 454 516 , de combiner 1 ' image provenant d'une camera 
sensible aux rayonnements infrarouges a celle provenant 
d'une camera fonctionnant dans le domaine du rayonnement 
visible, pour former une image unique." 

Cependant, ce type d ' image de paysage nocturne 
offre une perception assez peu naturelle de 
1 1 environnement et presente des zones de contraste et 
d'intensite tres variables. 

On sait par ailleurs que, d'une maniere generale, 
les capteurs CCD (dispositifs a couplage de charge) , 
utilises dans les cameras des systemes d'aide a la vision, 
donnent des images qui ne sont pas fideles a la perception 
visuelle naturelle du paysage. En effet, la perception des 
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contrast'es par I'oeil humain est plutot logarithmique 
alors que les capteurs CCD sont sensiblement lineaires. 

Ce defaut des capteurs CCD est habi tuellement 
corrige en appliquant au signal issu desdits capteurs une 
table de conversion des niveaux de gris, dite LUT (de 
1' anglais Look-up Table). 

Ce principe peut egalement etre applique pour 
ameliorer le contraste des images de paysage nocturne 
comme cela est mentionne dans le document EP-A-0 454 516. 

Mais ces traitements donnent des resultats assez 
peu satisf aisants du fait de la nature des images de 
paysage nocturne qui sont tres sombres dans les zones non 
eclairees par les projecteurs du vehicule et tres claires 
dans les zones de 1 1 image eclairees. 

Un but principal de la presente invention est de 
resoudre les problemes precites. 

A cet effet, la presente invention a pour objet un 
procede et un dispositif d ' amelioration de la vision 
nocturne, notamment pour vehicule automobile, exempt des 
inconvenients de la technique anterieure . 

Le procede -d ' amelioration de la vision nocturne, 
notamment pour vehicule automobile, selon 1' invention, 
consiste, au moyen d'un systeme de prise de vue sensible 
aux rayonnements visibles et non visibles, a saisir une 
image de la chaussee, eclairee par des projecteurs 
emettant dans les domaines du rayonnement visible et de 
I 1 invisible, ladite image etant constitute de pixels, 
points elementaires ayant chacun un niveau de gris, et a 
appliquer a ladite image une LUT, loi de transformation 
des niveaux de gris. II se caracterise notamment en ce que 
au moins deux lois de transformation differentes sont 
appliquees a des groupes de pixels distincts de 1 1 image . 

Grace au procede selon 1' invention, un traitement 
specifique peut etre applique aux differentes zones de 
contraste et de luminosite tres differents que 1 'on peut 
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rencontrer dans une image de paysage nocturne eclaire par 
les projecteurs d'un vehicule, de maniere a obtenir, apres 
ledit traitement, une image proche de la perception 
naturel le humaine . 

Selon un autre aspect de 1' invention, la chaussee 
est eclairee, d'une part par au moins un projecteur 
emettant dans le domaine du rayonnement visible, et 
d» autre part par au moins un projecteur emettant dans le 
domaine du rayonnement infrarouge, le systeme de prise de 
vue comportant des moyens de saisie sensibles au domaine 
spectral du visible et a celui de 1 1 inf rarouge . 

Le systeme de prise de vue infrarouge permet de 
detecter .des objets dans des zones non eclairees 
habituellement par les projecteurs de croisement du 
vehicule. 

Dans une variante de 1' invention, on peut 
egalement utiliser un projecteur emettant dans le domaine 
de 1 ' ultraviolet associe a un moyen de saisie sensible au 
domaine spectral de 1 ' ultraviolet . 

Selon une autre caracteristique de 1' invention, 
une loi de transformation des niveaux de gris specifique 
est appliquee a chaque ligne de 1 1 image saisie. 

Grace a cette caracteristique, les limites des 
zones traitees ne sont pas visible dans 1 ' image obtenue 
apres le traitement selon 1' invent ion. 

Selon une autre caracteristique de 1' invention, 
une loi de transformation des niveaux de gris specifique 
est appliquee a chaque pixel de 1 1 image saisie. 

Selon un autre aspect de 1' invention, la loi de 
transformation associe, a chaque niveau de gris g d 1 un 
pixel de 1 1 image saisie, un niveau de gris g 1 tel que: 
g'= f(g, x, y) = G(x, y) (1 - e " Ic(x ' y,g ) ou 
g' = 1 si le resultat precedent est superieur a 1, 
ou x et y sont les coordonnees du pixel dans 1 ■ image et ou 
G(x,y) et k(x,y) sont des parametres caracterisant ladite 
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transformation et dependant des coordonnees x et y du 
pixel en lequel celle-ci est appliquee. 

Ainsi, un traitement specif ique a chaque pixel de 
1 1 image est applique. 

Selon un autre aspect de 1' invention, la loi de 
transf ormation associe, a chaque niveau de gris g d'un 
pixel de 1 1 image saisie, un niveau de gris g' tel que: 
g' = h(g, y) = Sly) (1 - e" c(y,g ) ou 

g 1 = 1 si le resultat precedent est superieur a 1, 
ou y est 1 ' ordonnee du pixel dans 1 ■ image et ou S(y) et 
t (y) sont des parametres caracterisant ladite 
transformation et dependant de 1 ■ ordonnee y du pixel en 
lequel celle-ci est appliquee. 

Ainsi, un traitement specif ique a chaque ligne est 
applique . 

Selon une autre caracteristique de I 1 invention, la 
loi de transformation des niveaux de gris depend d'un 
parametre de reglage, ledit parametre etant independant 
des coordonnees du pixel en lequel ladite loi de 
transformation est appliquee. 

L' invention concerne egalement un dispositif 
d 1 amelioration de la vision nocturne pour la mise en 
oeuvre du procede selon 1 1 une des caracterist iques 
decrites precedemment , du type comprenant une camera munie 
de capteurs CCD et d'un module de pilotage desdits 
capteurs . Le dispositif est notamment caracterise en ce 
qu ! il comporte une memoire contenant toutes les valeurs 
possibles, predeterminees , de la loi de transformation des 
niveaux de gris . 

Selon un autre aspect de 1' invention, l'adresse de 
stockage de chaque valeur g 1 , image par la transformation 
h d'un niveau de gris g d'un pixel situe aux coordonnees x 
et y de 1' image, est formee par la concatenation des 
signaux numeriques suivants : 

- le niveau de gris g du pixel, et 
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- I'ordonnee y dudit pixel. 

Selon un autre aspect de 1' invention, ladite 
adresse Integre dans sa formation I'abscisse (x) dudit 
pixel . 

Selon un autre aspect de 1' invention, ladite 
adresse integre dans sa formation un parametre de reglage 
de ladite transformation. 

Selon d'autres caracterist iques de 1" invention: 

- ledit dispositif comporte un circuit compteur de 
lignes delivrant, pour chaque pixel de 1' image, 1 » ordonnee 
dudit pixel . 

- ledit dispositif comporte en outre un circuit 
compteur de colonnes delivrant, pour chaque pixel de 
1" image, I'abscisse (x) dudit pixel. 

ledit dispositif comporte un microcontroleur 
delivrant le parametre de reglage de la transformation. 

D'autres caracterist iques et avantages de 
1' invention ressortiront de la description qui suit de 
plusieurs modes de realisations possibles de 1 ' invention 
en se referant aux dessins annexes parmi lesquels: 

- la figure 1 represente schemat iquement une image 
du paysage nocturne eclaire par les projecteurs d'un 
vehicule emettant dans le domaine du rayonnement visible 
et dans celui de 1 ' inf rarouge ; 

- la figure 2 represente une transformation des 
niveaux de gris de 1 • image de la figure 1 conforme a un 
mode de realisation possible de 1' invention; 

- la figure 3 illustre schematiquement un premier 
mode de realisation de 1 • invent ion; 

- les figures 4a, 4b et 4c illustrent le principe 
du calcul d'un nouveau niveau de gris par une LUT selon le 
premier mode de realisation de 1 1 invention 

- la figure 5 illustre schematiquement les zones 
de traitement d ' une image du paysage nocturne, eclaire par 
les projecteurs d'un vehicule, selon un deuxieme mode de 
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realisation de 1 1 invention; 

- la figure 6 illustre schemat iquement un deuxieme 
mode de realisation de 1' invention. 

Sur la figure 1, on a represents 1 ' image 1 du 
paysage nocturne eclaire par les projecteurs d'un 
vehicule, telle qu'elle peut etre recueillie par la camera 
d'un systeme d'aide a la vision, connu en soi . 

Une telle image est- composee d'un certain nombre 
de pixels, points elementaires de 1' image, qui sont 
reperes par leur coordonnees d'abscisse x et d'ordonnee y 
et qui ont chacun un niveau de gris propre g. 

En pointilles, on a figure la voie 2 sur laquelle 
se deplace le vehicule, bordee sur sa gauche d 1 une zone 
plane 3 et sur sa droite d'un talus 4. 

On peut distinguer dans cette image quatre zones 
de contraste et d'intensite variables. La zone A est la 
plus proche du vehicule et la mieux eclairee par les 
projecteurs de croisement. Cette zone est claire et 
fortement contrastee, elle est done peu interessante pour 
les systemes d'aide a la vision car les obstacles 
potentiels presents dans cette zone sont nettement 
visibles a l'oeil nu . 

La zone B correspond a la limite de portee des 
projecteurs de croisement. Cette zone est done sombre et 
faiblement contrastee. II est a noter que la ligne 5 de 
limite entre les zones A et B ne presente pas la meme 
forme sur la gauche de 1 1 image , correspondant a une partie 
plane 3 du bord de la voie 2, que sur la droite de 1 1 image 
correspondant a un talus 4 situe sur 1' autre bord de la 
voie 2 . 

La zone C correspond a la zone qui est eclairee 
par le rayonnement inf rarouge . Elle est sombre mais elle 
peut etre plus contrastee que la zone B en presence 
d f obstacles. Cette zone est egalement celle qui est 
eclairee par les feux de route, a longue portee lorsque 
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ceux-ci sont actionnes. La ligne 6 de limite entre les 
zones B et C a sensiblement la meme forme que la ligne 5 
de limite entre les zones A et B. 

La zone D est la plus eloignee du vehicule et elle 
n'est jamais eclairee ni par les projecteurs de croisement 
ni par les feux de route car elle est d 1 un faible interet 
pour la conduite. Elle correspond en effet sensiblement, 
dans le paysage, au ciel, et a tout ce qui est en dehors 
de la chaussee sur laquelle se deplace le vehicule. Elle 
est done tres sombre et il peut y avoir un bruit important 
dans le signal delivre par la camera pour les points de 
1 ' image situes dans cette zone. 

La ligne de limite 7 entre les zones C et D suit 
sensiblement les lignes de fuite vers 1 'horizon de la voie 
2 avec un decalage sensible vers la droite de ladite voie. 

Dans 1' image ainsi decrite de la figure 1 il 
existe done deux zones B et C qu'il est interessant de 
traiter afin d'en augmenter le contraste et la luminosite, 
car une detection anticipee des obstacles presents dans 
ces zones peut permettre au conducteur d'effectuer 
d'eventuelles manoeuvres d'evitements de maniere plus 
ef f icace . 

L 1 image 1 de la figure 1 peut done etre segmentee 
en zones (A, B, C et D) d' interet variable et comme le 
contraste et la luminosite sont tres differents dans 
chacune de ces zones, un traitement selon 1' invention 
consiste a appliquer des LUT specifiques a chaque zone de 
1' image pour en ameliorer la perception par le conducteur. 

II se , peut toutefois que les LUT les mieux 
adaptees aux differentes zones soient sensiblement 
differentes les unes des autres, et que 1 ' application du 
traitement decrit ci-dessus a une image comme celle de la 
figure 1 fasse apparaitre des limites entre les zones 
traitees. 

Dans ce cas, pour que les limites entre les zones 
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ne soient pas visibles, le traitement selon 1' invention 
peut etre applique sur des groupes de pixels de taille 
plus petites que les zones A, B, C et D precedemment 
decrites, en particulier on peut appliquer une LUT 
specif ique a chaque pixel de 1 1 image par exemple. 

Sur la figure 2, on - a represents la courbe 8 de 
transformation des niveaux de gris d'une LUT selon un 
exemple de realisation de 1' invention. 

Cette LUT transforme un niveau de gris g, compris 
dans 1' exemple de realisation -entre 0 et 1, d 1 un pixel 
situe aux coordonnees (x,y) de 1' image, en un niveau de 
gris : 

g'= f(g, x, y) = G(x, y) (1 - e^*'^ 9 ) ou 
g* = 1 si le resultat precedent est superieur a 1, 
ou G(x,y) et k(x,y) sont des parametres qui caracterisent 
la transformation f et qui, selon 1' invention, dependent 
des coordonnees (x,y) du pixel sur lequel on applique 
ladite transformation . 

Ce type de transformation f, representee par la 
courbe 8, realise une correct ion logari thmique de 1 ' image 
en rehaussant davantage le contraste dans les zones 
sombres que dans les zones" claires, ce qui donne a ladite 
image un aspect plus proche de la perception naturelle de 
I'oeil humain. 

La derivee de la fonction f par rapport a g, 

^ = k(x,y)G(x,y)e- k(x ' y,g , 
dg 

caracterise la modification du contraste de 1 1 image . 

Sur la figure 2, on a represents une droite 9, qui 
est tangente a la courbe 8 a 1'origine (0,0) du repere, et 
a une pente k(x,y)G(x,y) qui correspond a la derivee de f 
par rapport a g a I'origine, c'est a dire pour g=0. 

Cette droite 9 presente une pente superieure a 1, 
ce qui signifie que, dans les zones sombres de 1 1 image 
(celles qui ont des niveaux de gris proche de 0), le 
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contraste est augmente par la transformation f. 

Une deuxieme droite 10, tangente a la courbe 8 en 
11, pour un niveau de gris correspondant g„ a une pente 
(derivee de f par rapport a g pour g=g,} egale a 1, ce qui 
signifie que, dans les zones de 1 ' image ayant un niveau de 
gris egal a g„ les contrastes ne sont pas modifies par la 
transformation f . 

Une troisieme droite 12, tangente a la courbe 8 en 
13, ce qui correspond au niveau de gris g=l, presente une 
pente (derivee de f par rapport a g pour g=l) tres 
inferieure a 1, ce qui signifie que, dans les zones plus 
claires de 1 ' image (celles dont les niveaux de gris sont 
proches de 1), le contraste est attenue par la 
transformation f . 

Les parametres G(x,y) et k(x,y) dependant des 
coordonnees (x,y) du pixel sur lequel on applique la LUT, 
une transformation f specifique peut etre appliquee en 
chaque pixel de 1' image, dont les parametres G(x,y) et 
k(x,y) caracterisent 1 ' amelioration du contraste pour les 
niveaux de gris sombres et determinent le niveau de gris g, 
a partir duquel le contraste est attenue. 

Bien entendu, ces parametres peuvent etre 
identiques pour plusieurs pixels de 1 ■ image situes a des 
coordonnees x et y differentes, de maniere a effectuer des 
corrections specifiques a des groupes de pixels de 
1 ' image . 

Ainsi, selon 1< invention, la correction des 
niveaux de gris ne se fait pas de maniere uniforme sur 
toute 1- image mais elle est specifique a chaque pixel ou 
groupe de pixels de maniere a optimiser ladite correction 
suivant le contraste et la luminosite dudit pixel ou 
groupe de pixels . 

A la figure 3, on a represents un mode de 
realisation de la transformation f decrite ci-dessus. 

On n'a represents sur ce schema que les liaisons 
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utiles a la comprehension de 1 ' invention . Les connexions 
aux alimentations et aux broches de configuration des 
processeurs par exemple n'ont pas ete mentionnees. 

Une camera 20 munie d'une matrice de capteurs CCD 
21, par exemple de taille 256x256 pixels, est controlee 
par un module de pilotage 22 des capteurs CCD. 

Ladite camera 20 delivre un signal video 
analogique 23 qui contient les niveaux de gris analogiques 
des pixels de 1 ' image saisie et qui est dirige vers 
1' entree d'un convert isseur analogique - numerique (CAN) 
24, ledit convert isseur fournissant a sa sortie un signal 
numerique 25 contenant les niveaux de gris g, numerises 
sur k bits. 

Si le capteur CCD est de taille 256x256 pixels et 
qu'il fonctionne a la cadence video de 25 images par 
seconde, la frequence d'arrivee des niveaux - de gris dans 
le convertisseur 24 est superieure ou egale a 1,6 MHz. II 
faut done ensuite un processeur de signal numerique qui 
puisse travailler avec un tel debit de donnees . 

Les processeurs de signaux numeriques DSP (de 
1' anglais Digital Signal Processor, ou processeur de 
signal numerique) sont capables de travailler a des 
cadences superieures a 1,6 MHz et dans une variante de 
1' invention non representee, un tel processeur pourra etre 
utilise pour realiser la transformation f par 
1 ' intermediaire d'un programme implante dans ledit 
processeur. 

Dans le cas de la figure 3, la transformation f 
est realisee en logique cablee ce qui permet d'utiliser un 
processeur plus lent et done beaucoup moins couteux, tel 
que le microcontroleur 26. 

Ledit microcontroleur 26 travaillant a une cadence 
plus lente que celle fournie classiquement par une camera 
a capteurs CCD, il est adapte a controler ladite camera et 
a travailler sur des trames d* images memorisees a plus 
f aible cadence . 
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Le microcontrdleur 26 fournit, a partir d 1 une 
sortie 41, un signal 2 7 commandant le temps d'ouverture de 
la camera et un signal 28 donnant un top de lecture des 
capteurs CCD a chaque image, lesdits signaux 27, 28 etant 
diriges vers 1- entree d'un premier module de commande 29 
du pilote 22 des capteurs CCD. 

Le module de commande 2 9 a une sortie .3 0 dirigee 
vers 1' entree d'un generateur de signaux d ' horloge 31, 
ledit generateur retournant des tops d' horloge au module 
de commande 29 par 1 ' intermediaire d'un signal 32, issu 
d'une sortie du generateur 31 et entrant par une entree 3 6 
dans le module de commande 29. 

Ledit module de commande 2 9 presence egalement une 
sortie 37 delivrant des signaux de synchronisation video 
38, synchronisation de ligne et synchronisation de trame, 
lesdits signaux etant utilises pour commander un moniteur 
d'affichage de 1' image, une fois celle-ci traitee. 

Le generateur de signaux d' horloge 31 presente une 
deuxieme sortie fournissant des signaux d' horloge 33, 
lesdits signaux entrant dans un dernier module 34 du 
pilote des capteurs CCD 22. Ce module 34, .done la sortie 
est dirigee vers une entree de la matrice de capteurs CCD 
21, sert d ' interface avec ladite matrice en effectuant, 
entre autres, une adaptation des niveaux d ' impedances . 

L« ensembles des modules 29, 31 et 34 precedemment 
decrits forment le pilote 22 des capteurs de la matrice 
21 . 

Les signaux d 1 horloge 33 issus du generateur 31 se 
repartissent en deux types de signaux: un signal 39 
presentant un front (montant ou descendant) a chaque 
nouvelle ligne de 1' image, et un signal 40 presentant un 
front de commutation a chaque nouveau pixel d'une ligne. 

Le signal d' horloge pixels 40 est relie a une 
entree 40a du convertisseur analogique - numerique 24 et 
il permet de commander ledit convertisseur en fournissant 
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a ce dernier un top d'horloge a chaque nouveau pixel, 
ledit top d'horloge declenchant la numerisat ion d'un 
pixel. 

Le signal d'horloge pixels 40 est egalement relie 
a 1 1 entree 40b d'un circuit compteur de colonnes 42. Ce 
circuit recpoit un top d'horloge a chaque nouveau pixel et 
il increment e, a chacun de ces tops, un compteur de 
colonnes. L ' information du numero de colonne . permet de 
connaitre la coordonnee d'abscisse x (en se referant a la 
notation adoptee figure 1) de chaque pixel. 

Le circuit compteur de colonnes 42 regoit 
egalement, sur son entree 39b, le signal d'horloge lignes 
39, qui fournit un top d'horloge a chaque nouvelle ligne 
de 1' image, ledit top d'horloge declenchant la remise a 
zero du compteur de colonnes. 

A la sortie du circuit compteur de colonnes 42, un 
signal 44 contenant I'abscisse x d'un pixel, numerisee sur 
m bits est delivre. 

Le signal d'horloge lignes 39 est relie egalement 
a 1 1 entree 3 9a d'un circuit compteur de lignes 43. Ce 
circuit re^oit un top d'horloge a chaque nouvelle ligne de 
1 ' image et il incremente, a chacun de ces tops, un 
compteur de lignes. Cette information sur le numero de 
ligne permet de connaitre la cordonnee d'ordonnee y (en se 
referant a la notation adoptee a la figure 1) de chaque 
pixel . 

Le circuit compteur de lignes 43 re^oit egalement, 
sur son entree 47, le signal 28 issu du microcontroleur 
26, qui fournit un top d'horloge a chaque nouvelle image, 
ledit top d'horloge declenchant la remise a zero du 
compteur de lignes. 

A la sortie du circuit compteur de lignes 43, un 
signal 45 contenant l'ordonnee y d'un pixel, numerisee sur 
1 bits est delivre . 

Les signaux 44, contenant la coordonnee x sur m 
bits, et 45, contenant la coordonnee y sur 1 bits, sont 
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fusionnes, de maniere connue, en un signal 4 6 forme par la 
concatenation des donnees x et y, et numerise sur m+1 
bits. 

Le signal 46 est ensuite concatene avec le signal 
25, issu du convertisseur analogique - numeri'que 24 et 
contenant le niveau de gris g numerise sur k bits, pour 
former un signal 48 contenant les donnees x, y et g 
numerisees sur k+l+m bits. 

Ledit signal 48 contient les informations g, x et 
y necessaires a 1 1 application de la transformation f des 
niveaux de gris decrite a la figure 2. 

Cependant, un parametre supplementaire p, issu du 
microcontroleur 26, peut etre utilise de maniere a 
parametrer la transformation f.. Par exemple on peut 
appliquer un traitement different dans le cas ou'l'image 
est prise au crepuscule et dans le cas ou elle est prise 
pendant la pleine nuit . 

Un signal 49, issu d 1 une sortie 50" du 
microcontroleur 26, contient ledit parametre p, numerise 
sur n bits, et il vient se concatener avec le signal 48 
precedemment decrit pour former un signal 51 contenant les 
donnees g, x, y et p numerisees sur k+m+l+n bits. 

Ledit signal 51 est ensuite applique a 1« entree 
d'une LUT 52 qui transforme le niveau de gris g initial en 
un nouveau niveau de gris g', suivant la transformation f 
precedemment decrite, ledit niveau de gris g' etant 
numerise sur k' bits dans le signal de sortie 53 de la LUT 
52. 

Le principe du calcul du nouveau niveau de gris g' 
par la LUT 52 sera mieux compris en se reportant aux 
figures 4a a 4c. 

Sur la figure 4a, on a represents une image 60 
telle qu'elle peut etre obtenue par la matrice de capteurs 
CCD d'une camera comme celle 20 decrite a la figure 3. Sur 
cette image on a figure un pixel 61 particulier, situe 
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dans 1 ' image au point: de coordonnees (x,y), et ayant un 
niveau de gris g. 

A partir de ces donnees, on peut, selon 
1 1 enseignement de la figure 3, obtenir un signal 51 
5 contenant les donnees g, x, y et p et numerise sur k+l+m+n 
bits. 

' Ledit signal 51 sert a former, pour chaque pixel 
de 1' image, une adresse selon le tableau de la figure 4b, 
c'est a dire en concatenant les k bits du niveau de gris g 
- 10 dudit pixel avec les 1 bits de l'ordonnee y, les m bits de 
l'abscisse x et les n bits du parametre p. 

L 1 adresse ainsi formee est envoyee dans une 
memoire 62 de type ROM (de 1' anglais Read Only Memory, ou 
memoire accessible seulement en lecture) representee a la 
15 figure 4c. A 1' adresse 63 correspondante de ladite memoire 
est stockee la valeur de 1 ' image par la transformation f 
(parametree par p) des donnees g, x, y, p contenues dans 
l ! adresse, soit f p (g, x, y ) =g 1 . 

La memoire 62 est choisie de taille suffisante 
20 pour contenir les valeurs des images par la transformation 
f de toutes les combinaisons possibles de donnees g, x, y, 

Le niveau de gris g', numerise sur k' bits, 
constitue le signal de sortie 53 de la LUT 52, en se 
25 referant a la figure 3. 

Sur la figure 3 on a egalement represents une 
memoire de stockage d 1 image 54, ladite memoire etant de 
type RAM (de 1' anglais Random Access Memory, ou memoire a 
acces aleatoire) et etant destinee a memoriser les trames 
3 0 d* image de maniere a ce que le microcontroleur 26, 
fonctionnant a une cadence plus faible que celle du signal 
video emis par la matrice des capteurs CCD 21, puisse 
travailler sur les trames d' images memorisees a plus 
faible cadence . 

35 Ladite memoire d' image 54 re<?oit sur son entree 58 
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le signal 25 (represents ici par le pointille 25') 
contenant le niveau de gris g de chaque pixel tel qu'il 
est saisit par la matrice de capteurs CCD 21. Elle regoit 
d' autre part, sur son entree 59, le signal 46 (represents 
ici par le pointille 46') contenant le numero de ligne et 
de colonne dudit pixel, c 1 est a dire ses coordonnees x et 
y (suivant la notation de la figures 4a) 

La memoire 54 est de plus reliee au 
microcontroleur 26 par 1 ' intermediaire d'un bus de donnees 
55, vehiculant les niveaux de gris g de chaque pixel, et 
d'un bus d'adresses 56, vehiculant les numeros de ligne et 
de colonne dudit pixel . 

A la sortie du circuit global decrit a la figure 
3, on dispose du signal 53, contenant les niveaux de gris 
transformes g' numerises sur k' bits, et des signaux de 
synchronisation video 38. Ces signaux 53, 3 8 peuvent etre 
ensuite envoyes vers un moniteur d'affichage apres une 
conversion numerique - analogique des niveaux de gris g' . 

Dans une variante du mode de realisation presente 
a la figure 3, on peut omettre le module 57, figure en 
pointilles, en rempla?ant le microcontroleur 26 par un 
generateur de signaux d'horloge delivrant les signaux 27, 
commandant le temps d'ouverture de la camera, et 28 
donnant les tops de lecture des capteurs CCD a chaque 
image. Dans ce cas, les liaisons figurees en pointillees 
25 f , 46 1 et 49 sont egalement omises. 

Dans une deuxieme variante de ce mode de 
realisation de 1» invention, on peut omettre seulement le 
parametrage de. la transformation f, c'est a dire le 
parametre p, issu de la sortie 50 du microcontroleur 26 et 
vehicule par le signal 49. 

Sur la figure 5, on a represents une image 101 du 
paysage nocturne eclaire par les projecteurs d'un vehicule 
similaire a celle de la figure 1. 

Les zones A, B, C et D de segmentation de 1 ■ image 
decrites a la figure 1 se retrouvent sur 1 ■ image 101 et 
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les limites desdites zones ont ete ici representees en 
traits discontinus. 

D'autre part, la voie sur laquelle circule le 
vehicule est representee par le pointille 102. 

Comme la zone D, situee au dela de la ligne de 
limite 107 est peu interessante pour le conducteur du 
vehicule et que, par consequent, ses pixels ne necessitent 
pas de traitement specif ique, et que d' autre part, les 
autres zones A, B et C sont separees par des limites 
sensiblement horizontales , . il peut etre interessant 
d 1 approximer lesdites zones A, B , C et D par les zones A', 
B 1 , C et D', ces dernieres etant separees par des limites 
105, 106, 108 qui sont des droites paralleles a 1 1 axe des 
abscisses x. 

Avec une segmentation de 1 1 image de ce type, 
purement horizontale, une transformation des niveaux de 
gris plus simple peut etre appliquee, qui ne tient compte 
que du niveau de gris initial g du pixel et de 1'ordonnee 
y dudit pixel, et qui ne tient plus compte de l'abscisse x 
du pixel comme dans la transformation f decrite 
precedemment . 

A titre d'exemple, on peut appliquer une 
transformation h, qui a tout niveau de gris g d'un pixel 
ayant pour ordonnee y, associe un niveau de gris : 
g' = h(g, y) = S(y)(l - e~ t(y,g ) ou 

g' =1 si le resultat precedent est superieur a 1, 
ou S (y) et t (y) sont des parametres qui caracterisent la 
transformation h et qui dependent de 1' ordonnee y (ou 
numero de ligne) du pixel sur lequel on applique ladite 
transformation . 

A la figure 6, on a represents un deuxieme mode de 
realisation de 1 ' invention selon le principe evoque ci- 
dessus. 

On retrouve. dans ce schema l'essentiel des 
elements de la figure 3, portant des references 
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similaires, et on pourra se reporter a la description de 
ladite figure 3 pour la comprehension de ce schema. 

La difference principale entre ce schema et celui 
de la . figure 3 reside dans le fait que le present schema 
ne comprend plus de circuit compteur de colonnes . En 
effet, comme la transformation h de ce mode de realisation 
ne tient pas compte de l'abscisse x du pixel en lequel 
elle est appliquee, il n'est pas necessaire de connaitre 
le numero de la colonne dudit pixel. 

En consequence, le signal 48 est, dans ce mode de 
realisation constitue de la concatenation du niveau de 
gris g, provenant du signal 25, avec l'ordonnee y, 
provenant du signal 45, et ledit signal 48 est numerise 
sur k+1 bits. De meme, le signal 51 contient dans ce mode 
de realisation, le niveau de gris initial g d'un pixel, 
l'ordonnee y dudit pixel et un parametre p servant a 
parametrer la transformation h, ledit signal etant 
numerise sur k+l+n bits. 

Une autre difference du present schema avec celui 
de la figure 3 vient du fait que la memoire d ' image 54 
re^oit, sur son entree 59, non pas le signal 46 contenant 
les numeros de ligne et de colonne de chaque pixel, mais 
le signal 45 (represents ici par le pointille 45') 
contenant uniquement le numero de ligne du pixel, c'est a 
dire son ordonnee y. 

Le fonctionnement de la LUT 52 est le meme que 
celui decrit aux figure 4a a 4c et 1 » avantage principal de 
ce mode de realisation est la diminution de la taille de 
la memoire (refer.encee 62 a la figure 4c) necessaire pour 
stocker toutes les valeurs possibles de la transformation 
h. 

Dans ce mode de realisation, une meme. 
transformation h est appliquee a toute une ligne de 
l f image, ce qui donne apres traitement une image encore de 
tres bonne qualite puisqu'on ne peut pas voir apparaitre 
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de limites de zones traitees. 

En variante de ce mode de realisation, on pourra 
egalement supprimer le module 57 contenant le 
microcontroleur, ou seulement le signal 49 contenant le 
parametre p. 

Dans une autre variante de 1' invention, on peut 
realiser les calculs des transformation f ou h directement 
en temps reel (sans stockage des resultats pre-calcules 
dans une memoire)" a l'aide d ' un processeur de signal 
numerique DSP, mais ce type de realisation est plus 
couteux . 

Bien entendu, la presente invention n'est pas 
limitee aux exemples de realisation decrits ci-dessus mais 
englobe toutes variantes . 

Notamment, la memoire de stockage des valeurs pre- 
calculees des transformation f ou h peut etre constitute 
de plusieurs boitiers de type ROM de faible capacite, 
relies a des circuits d'adressage et de multiplexage qui 
conviennent, ou meme elle peut etre constitute de k 1 
boitiers de 1 bit relies en parallele et plus 
generalement , elle peut etre constitute par toute memoire 
adressable, rapide, susceptible de stocker durablement un 
tableau de constantes . 
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REVENDICATTONS 

1 - Procede d ' amelioration de la vision nocturne, 
notamment pour vehicule automobile, consistant, au moyen 
d'un systeme de prise de vue sensible aux rayonnements 
visibles et non visibles, a saisir une image de la 
chaussee, eclairee par des projecteurs emettant dans les 
domaines du rayonnement visible et de 1' invisible, ladite 
image etant constitute de pixels, points elementaires 
ayant chacun un niveau de gris, et a appliquer a ladite 
image une LUT, loi de transformation des niveaux de gris, 
caracterise en ce que au moins deux lois de transformation 
differentes sont appliquees a des groupes de pixels 
distincts de 1» image. 

2 - Procede d ' amelioration de la vision nocturne 
selon la revendicat ion 1, caracterise en ce que la 
chaussee est eclairee, d'une part par au moins un 
projecteur emettant dans le domaine du rayonnement 
visible, et d' autre part par au moins un projecteur 
emettant dans le domaine du rayonnement infrarouge, le 
systeme de prise de vue comportant des moyens de saisie 
sensibles au domaine spectral du visible et a celui de 
1 1 infrarouge . 

3 - Procede d * amelioration de la vision nocturne 
selon l'une des revendicat ions 1 ou 2 , caracterise en ce 
qu'une loi de transformation des niveaux de gris 
specif ique est appliquee a chaque ligne de 1 ' image saisie. 

4 - Procede d ■ amelioration de la vision nocturne 
selon l'une des revendicat ions 1 ou 2 , caracterise en ce 
qu'une loi de transformation des niveaux de gris 
specif ique est appliquee a chaque pixel de 1 1 image saisie. 

5 - Procede d 1 amelioration de la vision nocturne 
selon l'une des revendicat ions 1, 2 ou 4 , caracterise en 
ce que la loi de transformation (f) associe, a chaque 
niveau de gris g d'un pixel de 1 ■ image saisie, un niveau 
de gris g 1 tel que: 
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g'= f(g, x, y) = G(x, y) (1 - e * k(x ' y>9 ) ou 
g' = 1 si le resultat precedent est superieur a 1, 
ou x et y sont les coordonnees du pixel dans 1 ■ image et ou 
G(x,y) et k(x,y) sont des parametres caracterisant ladite 
transformation et dependant des coordonnees x et y du 
pixel en lequel celle-ci est appliquee. 

6 - Procede d 1 amelioration de la vision nocturne 
selon l'une des revendicat ions 1, 2 ou 3 , caracterise en 
ce que la loi de transformation (h) associe, a chaque 
niveau de gris g d'un pixel de 1 ' image saisie, un niveau 
de gris g ' tel que : 

g'= h(g, y) = S(y)(l - e * t(y,g ) ou 

g' = 1 si le resultat precedent est superieur a 1, 
ou y est 1'ordonnee du pixel dans 1 ' image et ou S(y) et 
t (y) sont des parametres caracterisant ladite 
transformation et dependant de 1 ' ordonnee y du pixel en 
lequel celle-ci est appliquee. 

7 - Procede d 1 amelioration de la vision nocturne 
selon l'une des revendicat ions 5 ou 6 , caracterise en ce 
que la loi de transformation (f,h) des niveaux de gris 
depend d 1 un parametre (p) de reglage, ledit parametre 
etant independant des coordonnees (x,y) du pixel en lequel 
ladite loi de transformation (f,h) est appliquee. 

8 - Dispositif d' amelioration de la vision 
nocturne pour la mise en oeuvre du procede selon l'une des 
revendications precedentes, du type comprenant une camera 
(20) munie de capteurs CCD (21) et d'un module de pilotage 
(22) desdits capteurs, caracterise en ce qu'il comporte 
une memoire (62) contenant toutes les valeurs possibles, 
predeterminees, de la loi de transformation (f,h) des 
niveaux de gris . 

9 - Dispositif d ' amelioration de la vision 
nocturne selon la revendicat ion 8 # caracterise en ce que 
1 1 adresse de stockage de chaque valeur (g'), image par la 
transformation (h) d'un niveau de gris .(g) d'un pixel 
situe aux coordonnees x et y de 1' image, est formee par la 
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concatenation des signaux numeriques suivants: 

- le niveau de gris (g) du pixel, et 

- 1 ' ordonnee (y) dudit pixel. 

10 - Dispositif d ' amelioration de la vision 
nocturne selon la revendication 9, caracterise en ce que 
l'adresse de stock'age de chaque valeur (g') f image par la 
transformation (f) d ' un niveau de gris (g) d'un pixel 
situe aux coordonnees x et y de 1' image, integre dans sa 
formation l'abscisse (x) dudit pixel. 

11 - Dispositif d ' amelioration de la vision 
nocturne selon 1 ' une des . revendicat ions 9 ou 10, 
caracterise en ce que l'adresse de stockage de chaque 
valeur Cg'), image par la transformation (f,h). d'un niveau 
de gris (g) d'un pixel situe aux coordonnees x et y de 
l 1 image, integre dans sa formation un parametre ' ' (p) de 
reglage de ladite transformation. 

12 - Dispositif d » amelioration de la vision 
nocturne selon 1 1 une des revendicat ions 8, 9, 10 ou 11, 
caracterise en ce qu'il comporte un circuit compteur de 
lignes delivrant, pour chaque pixel de 1' image, 1 ■ ordonnee 
(y) dudit pixel. 

13 - Dispositif d ' amelioration de la vision 
nocturne selon la revendication 12, caracterise en ce 
qu'il comporte en outre un circuit compteur de colonnes 
delivrant, pour chaque pixel de 1' image, l'abscisse (x) 
dudit pixel . 

14 - Dispositif d' amelioration de la vision 
nocturne selon 1 • une des revendicat ions 8 a 13 prises dans 
leur dependance de la revendication 7, caracterise en ce 
qu'il comporte un microcontroleur (26) delivrant le 
parametre (p) de reglage de la transformation (f,h). 
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54. Process and device for the improvement of night vision, notably for motor vehicles. 

57. The invention concerns a process of improvement of night vision, notably for motor vehicles, 
consisting by means of an image recording system sensitive to visible and non-visible rays, to 
capture an image of the roadway, illuminated by headlights emitting in the ranges of visible 
and/or non-visible wavelengths, the said image being constituted of pixels, elementary points 
each having a gray level and to apply the said image to an LUT, law of transformation of gray 
levels, characterized in that at least two different laws of transformation are applied to distinct 
groups of pixels of the image. 

The invention also concerns a device for the implementation of the process of improvement of 
night vision previously described. 

Application to aiding night vision for motor vehicles. 
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The present invention concerns a process and a device for the improvement of night vision, 
notably for motor vehicles. 

It has been observed that long-range headlights are in practical terms very little used since their 
usage is limited to little-traveled roads due to their dazzling effect. 

Furthermore, high beam lights having a limited range, do not allow one to clearly distinguish 
obstacles close to the vehicle, which leaves the driver very little time to react and undertake an 
evasive maneuver. 

Therefore, systems have already been proposed, notably in document EP-A-0 505 237, to aid 
night vision which include headlight emitting rays pf non-visible wavelengths (infra-red or 
ultraviolet), as well as cameras sensitive to these rays and which collect images of the vehicle's 
surroundings, these images being visualized in real time in the vehicle by the driver. 

Notably, through document EP-A-0 454 516, an approach which combines the image coming 
from a camera sensitive to infrared rays to that of a camera operating in the visible range, to form 
a single image, is also known. 

However, this type of image of the nocturnal surroundings does not provide a very natural 
perception of the environment and has zones of highly variable contrast and intensity. 

It is known, in addition, that in a general way, CCD sensors (charge coupling devices, used in 
cameras for improving vision, produce images that are not faithful to the natural visual 
perception of the landscape. In effect, the perception of contrasts by the human eye is more 
logarithmic whereas CCD sensors are more or less linear. 

This problem with CCD sensors is usually corrected by applying a gray level conversion table, 
LUT, or Look-Up Table, to the signal produced by the said sensors. 

This principle can also be applied in order to improve the image contrast of the nocturnal 
surroundings as mentioned in document EP-A-0 454 516. 

But these treatments do not give very satisfactory results due to the nature of the images of the 
nocturnal surroundings, which are very dark in zones that are not illuminated by the vehicle's 
headlights and very bright in the illuminated zones of the image. 

A principal aim of the present invention is to solve the above-mentioned problems. 

To this effect, the present invention concerns a process and a device for improving night vision, 
notably for motor vehicles, free of the disadvantages of the previous technique. 





InterLingua 

(3 10)792-3636/Fax(3 10)792-3642 



THIS PAGE BUNK 



(USPTO) 



The process for improving night vision, notably for motor vehicles, according to the invention, 
consists, by means of an image recording system sensitive to visible and non-visible rays, to 
capture an image of the roadway, illuminated by headlights emitting in the visible and non- 
visible ranges of the spectrum, the said image being constituted of pixels, elementary points each 
having a gray level and apply a LUT, law of the transformation of gray levels, to the said image. 
It is notably characterized in that at least two different laws of transformation are applied to 
distinct groups of pixels of the image. 

By using the process according to the invention, a specific treatment can be applied to different 
zones of contrast and light, very different 1 that are encountered in an image of nocturnal 
surroundings illuminated by the vehicle headlights, in such a way as to obtain, after the said 
treatment, an image which is close to that of natural human perception. 

According to another aspect of the invention, the roadway is illuminated, on the one hand, by a 
headlight emitting in the visible range of the spectrum, and, on the other hand, at least one 
headlight emitting in the infrared range, the image recording system including an image 
capturing means that is sensitive to the visible and infrared ranges of the spectrum. 

The infrared image recording system allows for the detection of objects in zones that are not 
usually illuminated by the high beam lights of vehicles. 

In a variation of the invention, a headlight emitting in the ultraviolet range can also be used, 
associated with an image capturing means that is sensitive to the ultraviolet spectral range. 

According to another characteristic of the invention, a law of transformation of specific gray 
levels is applied to each line of the captured image. 

Due to this characteristic, the borders of the treated zones are not visible in the image obtained 
after treatment according to the invention. 

According to another characteristic of the invention, the law of transformation associates, at each 
gray level g of a pixel of the captured image, a gray level g such that: 

9'= f(g,x, y) = G(x, y)(1 - e - k(x ' y)g ) or 

g ' = 1 if the preceding result is greater than 1, 

where x and y are the coordinates of the pixel in the image and where G(x, y) and k (x, y) are 
parameters characterizing the said transformation and are dependent on coordinates x and y of 
the pixel in which the above is applied. 

Thus, a specific treatment of each pixel of the image is applied. 

According to another aspect of the invention, the law of transformation associates, at each gray 
level g of a pixel of the captured image, a gray level g' such that: 
g' = h(g, y) = S(y)(1-e- t( * 9 ) or 



! IL Note - Meaning of source language unclear. Literal translation is provided. 
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g' = 1 if the preceding result is greater than 1, 

where y is the ordinate of the pixel in the image and where S(y) and t(y) are parameters, 
characterizing the said transformation and dependent on the ordinate y of the pixel to which this 
is applied. 

Thus, a specific treatment is applied to each line. 

According to another characteristic of the invention, the law of transformation of gray levels is 
.dependent on a setting parameter, the said parameter being independent of the coordinates of the 
pixel to which the said law of transformation is applied. 

The invention also concerns a device to improve night vision for the implementation of the 
process according to one of the characteristics described previously, of a type including a camera 
equipped with CCD sensors and a piloting module of the said sensors. The device is notably 
characterized in that it has a memory containing all possible values, which are predetermined, of 
the law of transformation of gray levels. 

According to another aspect of the invention, the storage address for each g' value, an image, by 
the transformation h of a gray level g of a pixel located at coordinates x and y of the image, is 
formed by the concatenation of the following digital signals: 

the gray level g of the pixel, and 

the ordinate of the said pixel. 

According to another aspect of the invention, the said address integrates the abscissa (x) of the 
said pixel during its formation. 

According to another aspect of the invention, the said address integrates a setting parameter of 
the said transformation during its formation. 

According to other characteristics of the invention: 

-the said device includes a line counting circuit delivering, for each pixel of the image, the 
ordinate of the said pixel. 

-the said device includes in addition a column counting circuit delivering, for each pixel of the 
image, the abscissa (x) of the said pixel. 

-the said device includes a micro-controller delivering the setting parameter of the 
transformation. 

Other characteristics and advantages of the invention will become clear in the following 
description of several possible ways of implementing the invention and with reference to the 
attached illustrations, among which: 
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-Figure 1 schematically represents an image of nocturnal surroundings illuminated by the 
headlights of a vehicle emitting in the visible domain of the spectrum and that of the infrared; 
-Figure 2 represents a transformation of gray levels of the image from Figure 1 in accordance 
with a possible form of execution of the invention; 

-Figure 3 schematically illustrates the first form of execution of the invention; 

-Figure 4a, 4b, and 4c illustrate the principle of the calculation of a new gray level by a LUT 

according to the first form of execution of the invention; 

-Figure 5 schematically illustrates the treatment zones of an image of nocturnal surroundings, 
illuminated by the headlights of a vehicle, according to a second form of execution of the 
invention; 

-Figure 6 schematically illustrates the second way of implementing the invention. 

In Figure 1, image 1, of nocturnal surroundings illuminated by a vehicle's headlights that could 
be picked up by a camera of a visual aid system, is represented. 

Such an image is composed of a certain number of pixels, elementary points of the image, which 
are located via the coordinates abscissa x and ordinate y, with each having its own gray level g. 

Lane 2, which the vehicle is travelling on, is drawn with dots, bordered on the left by a flat zone 
3 and on the right by an embankment 4. 

Four zones of variable contrast and intensity can be distinguished in this image. Zone A is closest 
to the vehicle and is the one with the highest illumination from the high beam lights. This zone is 
bright and strongly contrasted, it is therefore not of much interest for visual aid systems since 
potential obstacles present in this zone are clearly visible to the naked eye. 

Zone B corresponds to the edge of the range of the high beam lights. This zone is therefore dark 
and weakly contrasted. It is to be noted that line 5 of the limit between zones A and B do not 
have the same shape on the left side of the image, corresponding to a flat part 3 of the edge of 
lane 2, that on the right of the image corresponds to an embankment 4 located art the other edge 
of lane 2. 

Zone C corresponds to the zone which is illuminated by infrared rays. It is dark but it can be 
more contrasted than zone B when obstacles are present. This zone is also that which is 
illuminated by the long-range headlights when they are activated. Line 6 is the limit between 
zones B and C and has more or less the same shape as line 5 which is the limit between zones A 
and B. 

Zone D is the farthest from the vehicle and it is not illuminated by the headlights nor the turning 
signal lights since it is of little interest for driving. It corresponds more or less to the landscape, 
the sky and all that is beyond the roadway upon which the vehicle is travelling. It is therefore 
very dark and there can be significant noise in the signal delivered by the camera for the points of 
the image located in this zone. 

The line of limit 7 between zones C and D more or less follows the lines of escape to the horizon 
of lane 2 with a significant gap towards the right of the said lane. 
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In the image, as described in Figure 1, two zones B and C therefore exist that are of interest to 
treat in order to increase contrast and brightness, since an anticipated detection of obstacles 
present in these zones can allow the driver to execute avoidance maneuvers more effectively. 

Image 1 of Figure 1 can therefore be segmented into zones (A, B, C and D) of variable interest 
and as the contrast and brightness are very different in each of these zones, a treatment according 
to the invention consists in applying LUTs specific to each zone of the image in order to improve 
the driver's perception. 

It could however be that the LUTs best adapted to the different zones are more or less different 
one from another, and that the application of the described treatment of an image like that of 
Figure 1 makes limits appear between the treated zones. 

In this case, so that the limits between the zones are not visible, the treatment according to the 
invention can be applied on groups of pixels of smaller size than zones A, B, C and D described 
previously, in particular a LUT can be applied which is specific for each pixel of the image, for 
example. 

In Figure 2, the curve 8 of the transformation of gray levels of a LUT is represented according to 
an example of the implementation of the invention. 

This LUT transforms a gray level g, included in the implementation example between 0 and 1, of 
a pixel located at coordinates (x, y) of the image, at a gray level: 

g '=f(g> *>y)= G (x, y) (1- e k(x > y)s ) or, 

g = 1 if the preceding result is greater than 1, 

where G(x, y) and k(x,y) are parameters that characterize transformation f and that, according to 
the invention, are dependent on coordinates (x, y) of the pixel to which the said transformation is 
being applied.. 

This type of transformation f, represented by curve 8, executes a logarithmic correction of the 
image by increasing the contrast more in the dark zones than in the bright zones, which gives the 
said image an appearance which is closer to the natural perception of the human eye. 

The derivation of function f in relation to g, 

^=k(x,y)G(x f y)e- k(x,y)9 , 
dg 

characterizes the modification of the contrast of the image. 

In figure 2, straight line 9 is represented, which is tangential to curve 8 at the origin (0,0) of the 
location, and has a slope k(x, y) G(x, y) which corresponds to the derivation of f in relation to g 
at the origin, that is to say for g=0. 
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This line 9 has a slope greater than I, which means that, in the dark zones of the image (those 
which have gray levels close to 0), the contrast is increased by transformation f. 

A second line 10, tangential to curve 8 in 1 1, for a gray level corresponding to g* 2 , has a slope 
(derivation f in relation to g for g=g') equals 1 3 which means that, in the zones of the image 
having a gray level equal to g*, the contrasts are not modified by transformation f. 

A third line 12, tangential to curve 8 in 13, which corresponds to the gray level g+1, has a slope 
(derivation of f in relation to g for g=l) far below 1, which means that, in the brighter zones of 
the image (those whose gray levels are close to 1) the contrast is lowered by transformation f. 

The parameters G(x, y) and k(x, y) are dependent on coordinates (x, y) of the pixel to which the 
LUT is applied, a specific transformation f can be applied to each pixel of the image, whose 
parameters G(x, y) and k(x, y) characterize the improvement of the contrast for dark gray levels 
and determine the gray level g*, from which the contrast is lowered. 

Obviously, these parameters can be identical for several pixels of the image located at different x 
and y coordinates, in such a way as to make specific corrections to groups of pixels of the image. 

Thus, according to the invention, the correction of gray levels is not performed in a uniform 
manner across the entire image, but is specific to each pixel or group of pixels in such a way as 
to optimize the said correction following the contrast and brightness of the said pixel or group of 
pixels. - 

In Figure 3, a form of execution of the transformation f described above is represented. 
In this diagram, only the relationships useful in the understanding of the invention are 
represented. For example, the connections to supplies and to configuration pins of processors 
have not been mentioned. 

A camera 20 equipped with a matrix of CCD sensors 21, of a size of 256x256 pixels, for 
example, is controlled by a piloting module 22 of CCD sensors. 

The said camera 20 delivers an analog video signal which contains analog gray levels of pixels of 
the captured image and which is directed to the input of the analog-digital converter (ADC) 24, 
the said converter providing a digital signal 25 at the output containing the gray levels g, 
digitized on k bits. 

If the CCD sensor is of 256x256 pixels in size and it operates at the video rate of 25 images per 
second, the frequency of the arrival of gray levels in the converter 24 is greater or equal to 1.6 
MHz. A signal processor that can handle such a flow of data is therefore required. 

The digital signal processors (DSP) are able to operate at rates greater than 1.6 MHz and in a: 
variation of the invention which is not represented, such a processor could be used to execute 
transformation f by means of a program integrated in the said processor. 



2 IL Note - Illegible subscript symbol in the original text due to the poor quality of the copy. 
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In the case of Figure 3, the transformation f is performed via a hard-wired circuit which allows a 
slower and therefore less expensive processor to be used such as the microcontroller 26. 
The said microcontroller 26 operates at a slower rate than that typically supplied by a CCD 
sensor camera, it is adapted to control the said camera and to work on memorized sequences of 
images at a lower rate. 

The microcontroller 26 supplies, from an output 41, a signal 27 controlling the period the camera 
is open and a signal 28 giving a reading pip of the CCD sensors for each image, the said signals 
27, 28 being directed to the input of a first control module 29 of the pilot 22 of the CCD sensors. 

The control module 29 has an output 30 directed to the input of a clock signal generator 31, the 
said generator returning the pips of the clock to control module 29 by means of a signal 32, 
issuing from n output of generator 3 1 and entering by an input 36 in the control module 29. 

The said control module 29 also has an output 37 delivering video synchronization signals 38, 
and line synchronization and frame synchronization signals, the said signals being used to control 
a viewing monitor for the image, once it has been treated. 

The clock signal generator 31 has a second output supplying clock signals 33, the said signals 
entering a final module 34 of the pilot of the CCD sensors 22. This module 34, whose output is 
directed to the input of a matrix of CCD sensors 21, serves as an interface with the said matrix 
executing, among other things, an adaptation of the impedance levels. 

Together, modules 29, 31, and 34, previously described, make up the pilot 22 of sensors of the 
matrix 21. 

The clock signals 33 from generator 3 1 are divided into two types of signal: a signal 39 that has a 
wave front (rising or descending) at each new line of the image, and a signal 40 with a wave 
front switching at each new pixel of a line. 

The pixel clock signal 40 is hooked up to an input 40a of the analog converter by supplying a 
clock pip for each new pixel to the converter, the said clock pip triggering the digitization of a 
pixel. 

The pixel clock signal 40 is also hooked up to input 40b of a column counter circuit 42. This 
circuit receives a clock pip for each new pixel and it increments, at each pip, a column counter. 
The information of the column number makes it possible to know the coordinates of abscissa x 
(referring to the notation used in Figure 1) of each pixel. 

The 'column counting circuit 42 also receives the line clock signal 39 at its input 39b, which 
provides a clock pip with each new line of the image, the said clock pip triggering the setting of 
the column counter back to zero. 

At the output of the column counting circuit 42, a signal 44 containing the abscissa x of a pixel, 
digitized on m bits is delivered. 



InterLingua 

(3 l0)792-3636/Fax(3 10)792-3642 
8 





THIS PAGE BLANK (uspto) 



( 



The line clock signal 39 is also hooked up to the entry 39a of a line counting circuit 43. This 
circuit receives a clock pip for each new line of the image and it adds a line, with each of the pips 
to a line counter. This information on the line number makes it possible to know the coordinate y 
(referring to the notation used in Figure 1) of each pixel. 

The line counting circuit 43 also receives at its input 47, the signal 28 issuing from the 
microcontroller 26, which supplies a clock pip for each new image, the said clock pip triggering 
the setting of the line counter back to zero. 

At the output of line counting circuit 43, a signal 45 containing the ordinate y of a pixel, digitized 
on I bits is delivered. 

The signals 44, containing the coordinate x on m bits and 45, containing the coordinate y on I bits 
are fused, in a known manner, into a signal 46 formed by the concatenation of the x and y data 
and digitized on m-1 bits. 

Signal 46 is then concatenated with signal 25, produced by generating the analog-digital 
converter 24 and containing the gray level g digitized on k bits to form signal 48 containing the x 
, y, and g data digitized on k-rl+m bits. 

The said signal 48 contains the information g, x, and y necessary for the application of the 
transformation f of the gray levels described in Figure 2. 

However, an additional parameter p, produced by generating microcontroller 26, can be used in 
such a way as to parametrize transformation f. For example, a different treatment can be applied 
in the case where the image is taken at sundown and in the case where it is taken in the middle of 
the night 

A signal 49, issuing from the output 50 of microcontroller 26, contains the said parameter p, 
digitized on n bits and concatenates with signal 48, previously described, to form signal 51 
containing the g, x, y and p data digitized on k+l+m+n bits. 

The said signal 51 is then applied at the input of a LUT 52 which transforms the initial gray level 
g into a new gray level g', following the previously described transformation f, the said gray 
level g being digitized on k' bits in the signal of output 53 of LUT 52. 

The principle of the calculation of the new gray level g' by LUT 52 can be better understood by 
referencing Figures 4a to 4c. 

In Figure 4a, an image 60 is represented such that it could be obtained by the matrix of CCD 
sensors from a camera such as 20 described in Figure 3. On this image a particular pixel 61 is 
drawn, located in the image at the point of coordinates {x, y} and having a gray level g. 
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From these data one can, according to Figure 3, obtain a signal 51 containing the g, x, y, and p 
data digitized on k+l+m+n bits. The said signal 51 serves to form, for each pixel of the image, an 
address according to the table in Figure 4b, that is to say by concatenating the k bits of gray level 
g of the said pixel with 1 bits of ordinate y. the m bits of abscissa x and the n bits of parameter p. 

The address thus formed is sent to a memory 62 of a ROM type (Read Only Memory) 
represented in Figure 4c. At the corresponding address 63 of the said memory, the value of the 
image by the transformation f (parametrized by p) of the g, x, y, and p data contained in the 
address , f p (g, X, y)=g' is stored. 

The memory 62 is of a sufficient size to contain the values of images by the transformation f of 
all the possible combinations of the g, x, y, and p data. 

The gray level g' , digitized on k' bits, constitutes the output signal 53 of LUT 52 in reference to 
Figure 3. 

Figure 3 illustrates an image storage memory 54, the said memory being of a RAM type 
(Random Access Memory) intended to memorize the frames of the image in such a way that the 
microcontroller 26, working at a lower rate than that of the video signal emitted by the matrix of 
the CCD sensors, can work on the frames of memorized images at a lower rate. 

The said image memory 54 receives at its input 58 the signal 25 (represented here by the dotted 
25') containing the gray level g of each pixel just as it is captured by the matrix of CCD sensors 
21. In addition, it receives, at its input 59, the signal 46 (represented here by the dotted 46' ) 
containing the line and column numbers of the said pixel, that is to say its x and y coordinates 
(according to the notation in Figure 4a). 

In addition, memory 54 is hooked up to microcontroller 26 by means of a data bus 55, conveying 
the gray levels g of each pixel and an address bus, conveying the line and column numbers of 
each pixel. 

At the output of the overall circuit described in Figure 3, is signal 53, containing the transformed 
gray levels g' digitized on k' bits, and video synchronization signals 38. These signals 53, 38 can 
then be sent to a viewing monitor after digital-analog conversion of gray levels g'. 

In a variation of the form of execution for this invention presented in Figure 3, module 57, drawn 
with dots, can be omitted, by replacing microcontoller 26 with a clock signal generator delivering 
signals 27 controlling the time period the camera is open, and 28 giving reading pips of the CCD 
sensors with each image. In this case, the relationships drawn with dots 25', 46' , and 49 can all 
be also omitted. 

In a second variation of the implementation method for this invention, only the parametrizing of 
transformation f, that is to say parameter p, issuing from output 50 of the microcontroller 26 and 
conveyed by signal 49 is omitted. 

Figure 5 illustrates an image 101 of nocturnal surroundings illuminated by headlights of a vehicle 
similar to that of Figure 1. 
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Zones A, B, C, and D of the segmentation of the image described in Figure 1 are found in image 
101, the limits of the said zones have been represented here with discontinuous lines. 

In addition, the lane in which the vehicle is traveling is represented by the dotted area 102. 

Since zone D, located above the limit line 107 is of little interest for the driver of the vehicle and 
that, consequently, its pixels do not require a specific treatment, and that additionally, the other 
zones A, B, and C are separated by more or less horizontal limits, it could be worthwhile to 
approximate the said zones A, B, C and D with zones A', B\ C\ and D', the latter being 
separated by limits 105, 106, 108 which are parallel lines at the axis of abscissa x. 

With a segmentation of the image of this type that is purely horizontal, a simpler transformation 
of gray levels can be applied, that does not take the initial gray level of the pixel and the ordinate 
y of the said pixel into account and which no longer takes abscissa x of the pixel into account as 
in the transformation previously described. 

As an example, a transformation h can be applied, which for any gray level g of a pixel having an 
ordinate y which is associated with a gray level: 

9' = h(g, y) = S(y)(1-e- t(y)s ) or 

g' = 1 if the preceding result is greater than 1, 

Where S(y) and t(y) are parameters which characterize the transformation h and which are 
dependent on ordinate y (or line number) of the pixel to which the said transformation is applied. 

Figure 6 illustrates a second form of execution of the invention according to the principle 
explained above. 

In this diagram, the essential elements of Figure 3 are illustrated, with similar references and one 
can refer to the description of the said Figure 3 in order to understand the diagram. 

The principal difference between this diagram and Figure 3 lies in the fact that the present 
diagram no longer has the column counting circuit. In effect, since the transformation h of this 
form of execution of the invention does not take abscissa x of the pixel into account, as it is 
applied, it is no longer necessary to know the column number of the said pixel. 

Consequently, the signal 48 is, in this application, constituted by the concatenation of gray level 
g, coming from signal 25, with ordinate y, coming from signal 45 and the said signal 48 is 
digitized on k=l bits. Likewise, signal 51 contains, in this application, the initial gray level g of a 
pixel, the ordinate y of the said pixel and a parameter p serving to parametrize transformation h, 
the said signal being digitized on k+l+n bits. 

Another difference of the present diagram from that of Figure 3 comes from the fact that the 
image memory 54 receives, at its entry 59, not signal 46 containing the line and column numbers 
of each pixel, but signal 45 (represented here by 45', drawn with dots ) only containing the line 
number of the pixel, that is to say, its ordinate y. 
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The functioning of LUT 52 is the same as that described in Figures 4a and 4c and the principal 
advantage of this form of execution of the invention is the reduction in the size of the memory 
(reference 62 in Figure 4c) required to store all the possible values of the transformation h. 
^According'to this implementation method of the invention, the same transformation h is applied 
to an entire line of the image, which still produces a high quality image after treatment since the 
limits of the treated zones do not appear. 

By varying this implementation method of the invention, one could also eliminate module 57 
containing the microcontroller or only signal 49 containing parameter p. 

In another variation of the invention, calculations of transformation f or h can be made directly in 
real time (without storing pre-calculated results in a memory) by means of a digital signal 
processor DSP, but this type of application is more costly. 

Obviously, the present invention is not limited to the implementation examples described above 
but encompasses all variations. 

Notably, the storage memory for pre-calculated values of transformation f or h can constituted 
of several cases of ROM of low capacity hooked up to address and multiplex circuits which are 
appropriate, or even it could be constituted of k' cases of 1 bit hooked up in parallel and more 
generally, it could be constituted of all addressable memory, rapid and capable of storing a table 
of constants in a permanent manner. 
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CLAIMS 

1- Process for the improvement of night vision, notably for motor vehicles, consisting, by 
means of a filming system sensitive to visible and non-visible rays, to capture an image of 
the roadway, illuminated with headlights emitting in the visible and non-visible domains of 
the spectrum, the said image being constituted of pixels, elementary points each with a gray 
level, and to apply to the said image a LUT, law of transformation of gray levels, 
characterized in that at least two different laws of transformation are applied to distinct 
groups of pixels of the image. 

2- Process for the improvement of night vision according to Claim I, characterized in that the 
roadway is illuminated, on the one hand, by at least one headlight emitting waves in the 
visible range of the spectrum and on the other hand, by at least one headlight emitting waves 
in the infrared range of the spectrum, the filming system equipped with the image capturing 
means that is sensitive to the visible spectral range and that of infrared. 

3- Process for the improvement of night vision according to Claim 1 or 2, characterized in that a 
specific law of transformation of gray levels is applied to each line of the captured image. 

4- Process for the improvement of night vision according to Claim 1 or 2, characterized in that a 
law of transformation of gray levels is applied to each pixel of the captured image. 

5- Process for the improvement of night vision according to any one of Claims 1, 2 or, 4, 
characterized in that the law of transformation (f) associates, to each gray level g of a pixel 
of a captured image, a gray level g' such that: 

9- f(9.x,y) = G(x, y) (1 -e k(x ' y)9 ) or 

g' = 1 if the preceding result is greater than 1, 

where x and y are the coordinates of the pixel in the image and where G(x, y) and k (x, y) are 
parameters characterizing the said transformation and are dependent on coordinates x and y of 
the pixel in which the above is applied. 

6- Process for the improvement of night vision according to any one of Claims 1, 2, or 3, 
characterized in that the law of transformation (h) -associates, to each gray level g of a pixel of 
the captured image, a gray level g' such that: 

g' = h(g iy )=:S(y)(1-e t(y)9 )or 

g' = 1 if the preceding result is greater than 1, 

Where S(y) and t(y) are parameters which characterize the transformation h and which are 
dependent on ordinate y (or line number) of the pixel to which the said transformation is applied. 
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7- Process for the improvement of night vision according to Claim 5 or 6, characterized in that 
the law of transformation (f, h) of gray levels is dependent on setting parameter (p), the said 
parameter being independent of coordinates (x, y) of the pixel to which the said law of 
transformation (f, h) is applied. 

8- Device for the improvement of night vision for the execution of the process according to 
one of the preceding claims, of a type including a camera (20) equipped with CCD sensors 
(21) and a piloting module (22) for the said sensors, characterized in that it has a memory 
(62) containing all the possible values of the law of transformation (f, h) of gray levels, 
which are predetermined,. 

9- Device for the improvement of night vision according to Claim 8, characterized in that the 
storage address of each value (g'), image through the transformation (h) of a gray level g of 
a pixel located at coordinates x and y of the image is formed by the concatenation of the 
following digital signals: 

-the gray level (g) of the pixel, and 
-the ordinate (y) of the said pixel. 

10- Device for the- improvement of night vision according to Claim 9, characterized in that the 
storage address of each value (g') image 3 through the transformation (f) of a gray level (g) 
of a pixel located at coordinates x and y of the image, integrates in its formation the 
abscissa (x) of the said pixel. 

1 1- Device for the improvement of night vision according to either Claim 9 or 10, characterized 
in that the storage address of each value (g'), image through the transformation (f, h) of a 
gray level (g) of a pixel located at coordinates x and y of the image, integrates in its 
formation a parameter (p) of the setting of the said transformation. 

12- Device for the improvement of night vision according to any one of Claims 8, 9, 10 or 1 1, 
characterized in that it includes a line counting circuit delivering the ordinate (y) of the said 
pixel for each pixel of the image. 

13- Device for the improvement of night vision according to Claim 12, characterized in that in 
addition it includes a column counting circuit delivering, for each pixel of the image, the 
abscissa (x) of the said pixel. 

14- Device for the improvement of night vision according to Claims 8 to 13 on condition of 
their dependence on Claim 7, characterized in that it has a microcontroller (26 delivering 
'the setting parameter (p) of the transformation (f, h). 



3 IL Note - There seems to be a problem with the usage of this word in French: when used as a verb or a noun, the 
sentence is not grammatically correct, nor does it make much sense, there may be an accent missing, similarly in the 
paragraph below. 
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Figure Legends 4 : 
Fig. 2 

Left: Gray level after transformation 
Bottom: Initial gray level 

Fig. 3 

21 : Matrix of CCD sensor 
24: Analog-digital converter 
39a: Line counter 
39b: Column counter 
51: LUT 

26: Microcontroller 

54: Image storage memory 

8: Image viewing monitor 

Fig. 4b 

Address 

Datum 

Number of bits 

Fig. 4c: 
Memory 

Fig. 6: 

21:Matrix of CCD sensors 
24: Analog-digital converter 
39: line counter 
52: LUT 

26: Microcontroller 

54: Image storage memory 

Image viewing monitor 



4 IL Note - Please refer to numbered original for all figure legends. 
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Annex: 

Preliminary Research Report 

established on the basis of the latest claims submitted before the beginning of the research. 

French Republic National registration 2726 144 

National Institute of Industrial Property FA 50796 1 

FR94 12781 



Documents considered pertinent 



Category 


Citation of document indicating the interested 
parties , in case of need 


Claims concerning the 
application under examination 


Y . 


DE-A-40 32 927 (Bosch GMBH Robert) April 
30, 1992 

column 2, line 1 -line 52 


1,2 
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EP-AO 403 268 (Matsushita Electric Industrial 
Co. Ltd. ) December 19, 1990 

Column 1, line 53 * line 30 
Column 3, line 53 - column4, line 32 


1,2 

3,4,9,10,12,13 


D,A 


EP-A_0 454 5 16 (Renault) October 30, 1991 
Column 3 , line 58 - column 4 line 17 
Column 4, line 37 - line 48 


1,2,8 


A 


US-A-4 829 381 (Song Woo-Jin et al) May 9, 
1989 

Column 1, line 15-line 57 


1,4,14 


A 


EP-A O 363 209 (Marconi GEC Ltd.) April 11, 
1990 

Column 1, line 26-line 47 
Column 2, line 40-column 4, line 8 

> 


1,4,7,8,14 


A 


US-A-4 670 788 (Ozaki Takayuki) June 2, 1987 

Column I, line 53 - line 63 

Column 2, line 46 - column 7, line 58 




A 


Medical and Biological Engineering and 
Computing 

Vol. 27 no. 5, September, 1989, pages 507-512, 
XP 000046396 

Leszczyhski KW et al "Digital contrast 
enhancement for online portal imaging" page 
507, right column, line 24- page 508, left 
column, line 7 

Page 508, left column, line 51-right column line 

ii 


l : 



Research performed on June 30, 1995 
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Examiner: Wentzel, J. 

Categories of cited documents: 
X: Particularly pertinent in itself 

Y: Particularly pertinent in combination with another document of the same category 
A: Pertinent in terms of at least one claim or general technological background 
0: Unwritten disclosure 
P: Insert 

T: Theory or principle forming the basis for the invention 

E: Patent document dated earlier than the submission date and was unpublished at the time of 
submission. 

D: Cited in the application 
L: Cited for other reasons 

&: Member of the same family, corresponding document 
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S) PROCEDE ET DISPOS1T1F D' AMELIORATION DE LA VISION NOCTURNE, NOTAMMENT POUR VEHICULE 
W AUTOMOBILE. _ 

(57) L'invention concerns un procede d'amelioraticn da la 
vision nocturne, notarnment pour vehicufe automobile, 
conslstant, au moyen d'un systeme de prise de vue sensi- 
ble aux rayonnements visiblss et non visibles, a saisirune 
image de la chaussee, eciairee par des projecteurs emet- 
't2nt dans les domaines du rayonnernent visible et/ou de 
1'invisible, ladite image etant constitute de pixels, points 
eiementaires ayant chacun un niveau de gris, et a appli- 
quer a ladite image une LUT, loi de transformation des m- 
veaux de gris, caractarise en ce que au moins deux lois da 
.transformation differentes sont appliquees a des groupes 
de pixels distincts de I'image. ' 

L'invention conceme ecjalement un dispositif pour la 
mise en oeuvre du precede d'amelioration de la vision noc- 
turne decrit precedemment. 

Application a I'aide a la vision nocturne pour les venicu- 
les automobiles. 
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